lecture 3_More Word Vectors

单词的向量表征

本节lecture主要是对上一节内容的扩展，重点还是在如何用向量来表征单词上，以使得单词间获得更好的相似性，而且我们可以直观地理解这种相似性。
核心思想是通过计算单词间的共现（co-occurence）次数/频率/概率来表征单词间的相似性——两个单词同时出现在相同context中的次数多了，我们就认为这两个单词比较相似。

• 一种模型是skip-gram模型，一步步地计算每个窗口，最终得出单词间相似性。
• 另一种模型是Glove，基于共现矩阵的思想，一次性统计语料库中所有单词两两间的共现次数，从而得出单词间的相似性。

如何评估词向量的优劣

两种评价思路：intrinsic & extrinsic（内部评价和外部评价）

• intrinsic evaluation
  通过分析词向量本身的一些特性来评价：如词与词之间的余弦相似度、

• 欧式距离或类比关系（analogy, 即 man-woman=king-queen 这种线性关系），如果得出的词向量这些关系好（eg. 词义相似的词向量在向量空间中距离也很近），那么这个词向量就好。
  注：总的来说Glove表现的最好。

• extrinsic evaluation
  通过一些下游的任务来评价词向量的好坏，如我们把训练好的词向量用于命名实体识别任务中，看词向量实际表现的怎么样。
  注：还是Glove模型表现的最好。

• 两种评价方法的优劣
  intrinsic evaluation速度快，可以帮助我们更好地理解这个任务本身。但实际上这并不是一种真实的评价方法，即我们不知道这种词向量模型在实际任务中到底表现得怎么样。
  extrinsic evaluation则是一种真实的评价方法，可以确切地得出词向量模型的好坏。但缺点是计算出最终结果很费时间，而且如果表现不好，我们并不能准确地分析出原因（到底是向量模型本身的原因，还是向量模型和其他模型互相影响(interact)的原因）